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В статье приведены результаты разработки построчного и следящего методов анализа бинарных изображений. 
Рассмотрено два приложения разработанных методов — анализ изображений на аэрофотоснимках объектов, 
выполняемый при формировании электронных карт местности по данным аэрофотосъемки, а также 
распознавание рукописных символов, стоящих отдельно. 
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Введение 


Современные методы анализа изображений непрерывно совершенствуются. 
При этом решаются все более сложные задачи идентификации, классификации и 
распознавания образов. Важным направлением разработки и исследования методов 
анализа изображений является формирование электронных карт местности по аэро- 
фотоснимкам. Потребность в электронных картах как в городской, так и сельской 
местности очень велика. Этим объясняется бурное развитие геоинформационных 
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систем (ГИС), для которых в настоящее время источником данных является топогра- 
фическая съемка местности. Примером служат программные продукты А’сМАР, 
ЕазуТгасеРго, Агс Тем’, АтсСАР, Марр и другие [1], [2]. 

Успехи в средствах регистрации, фотографировании земной поверхности позво- 
ляют получать оперативно космические и аэрофотоснимки с огромной информаци- 
онной ёмкостью. Этот факт имеет отрицательную сторону — невозможность оперативно 
использовать изображения для различных целей, где не нужно такой избыточности. 
Требуется исходные фотоснимки проанализировать, выделить характерные объекты — 
строения, дороги, водоёмы, лесные массивы и заменить их условными обозначениями, 
примитивами, используемыми в картографии. Таким образом, требуется распознать 
изображения объектов. 

Другим важным направлением анализа изображений является распознавание руко- 
писных текстов. Если машинописные тексты в настоящее время распознаются доста- 
точно уверенно, то распознавание рукописных текстов представляет существенную 
проблему. Это связано, в первую очередь, с огромным разнообразием почерков человека. 

Отметим основные этапы распознавания рукописных символов: ввод изобра- 
жения; бинаризация, то есть превращение в силуэт; сегментация, то есть разделение 
на отдельные объекты; последовательный анализ с определением характерных точек, 
например, точек пересечения, точек возврата анализа, точек изменения направления 
анализа. 

В [3] приведен алгоритм сегментации изображений, позволяющий разделить 
бинарные изображения, определить их габаритные размеры и выполнить размерную 
селекцию изображений объектов. Например, удалить ложные изображения, возника- 
ющие при бинаризации исходного фотоснимка. Алгоритм основан на построчном 
анализе исходного фотоснимка и учете связанности элементов. Данный алгоритм 
оказался эффективным при анализе аэрофотоснимков для формирования электронных 
карт местности. 


Сегментация бинарного изображения 


В результате бинарной обработки исходного фотоизображения получается 
картина силуэтного изображения, где каждый объект представляет собой бинарную 
пятенную картину. Наряду с силуэтами полезных для электронной карты объектов — 
дорог, строений, водохранилищ, рек, линий электропередач и т.п. после бинаризации 
проявляются ложные силуэты, не связанные с объектами, а связанные с изменением 
яркости. Дальнейшим этапом преобразования необходимо выполнить размерную 
селекцию силуэтных изображений, чтобы отселектировать малоразмерные объекты. 
Для этих целей необходимо предварительно разделить изображения объектов, то 
есть выполнить сегментацию (рис. 1). 

Сегментация как метод цифровой обработки изображений представляет собой 
выделение группы элементов растрового изображения по признаку пространственной 
связанности и присвоения им общего номера, то есть разделение на локальные обла- 
сти (ЛО). 

Для разработки алгоритма сегментации необходимо определить формат анализа 
связанности. В работе [4] используется 4-связанный формат анализа принадлежности 
текущей точки размечаемой области. В [3] доказано, что достаточным и полным явля- 
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ется 5-связанный формат в виде примыкающих к текущему элементу 5,; элемента 5; 1; 
для текущей /-строки и элементов 5; 1; 1, 51-1, Эну1 Для предыдущей (/—1)-строки (рис. 2). 


ЕР ЕВ бы г 
[_[*] а ЕЕ 
а’, 
эВ] []з[ 
3+ 


5), 


8141,1 


3141, 1+1 


8). 
Рисунок 1 — Процесс сегментации Рисунок 2 — Определение формата 
пятенной картины анализа связанности 


Используются следующие обозначения элементов бинарного изображения, вхо- 
дящих в формат анализа: текущий элемент растра 5,, =е и примыкающие к нему эле- 
менты растра 5; 1;-1= а, 51 -1= В, Эниу = С, Эр, = 4, а также присваиваемые им номера — 
№» №, №, Ма при выполнении разметки. Позиционное положение элементов растра 
афсае включается в формат кода варианта связанности Кьс в виде: 


Кве =а:2°+6.2?+с.2'+4.2°, (1) 


где а, В, с, 4еЕ{0;1 $. 

На основании анализа всех вариантов связанности было получено общее выра- 
жение для функции назначения номера текущего элемента: 

№, =е@Е(и,0)М, + Е(п,З у 1) ти М,, М} + Е(и10) ти №, №} + 


+ Е(и1\у5у7у9\ 1315) №, + Е(и,2)М, + Е(п,4у 61214) М, + Е (п)? (2) 


, при И=Кьс 


где и — текущее значение Квс. Е(и, Кьс) = — фильтрующая 


0, при ПЕКьс 
функция, выделяющая различные варианты Кс. Из (2) вытекает алгоритм разметки 
ЛО, заключающийся в назначении номера для текущего элемента е. 

Одновременно с разметкой ЛО выполняется измерение различных пространст- 
венных характеристик ЛО: координат геометрических границ ЛО, площади под ЛО 
и длину контура. Под геометрическими границами ЛО с номером №9 подразумевается 
некоторый прямоугольник, в который вписана пространственно-связанная ЛО, где 
индекс (4) означает принадлежность к 4-локальной области. 

При этом координаты сторон прямоугольника следующие: для левой стороны — 
Х,®, правой — Х. 9, верхней - 7,9 и нижней — У,®. Из определения координат гео- 
метрических границ вытекает алгоритм назначения кодов координат для текущего 
элемента: 


р, ели 13 — т 
Е = 
л „(а 


если >19 
= 
с, 9, если 1< 
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.(4) 


О 3 
3—1 4 : ю Лн Я] 4) . (4) (3) 
Лв› ели л>л Лн› ебли л<л 


где 1, /‹ — коды координат текущего элемента е в формате анализа связанности. 
Равенство {= й, означает, что коду координат присваивается значение индекса анали- 
зируемого элемента, а равенство /® = 14 означает, что при выполнении соответству- 
ющего условия код координаты сохраняется прежним. 

Размерная селекция позволяет удалить мелкие изображения помех по признаку 
непревышения максимальных значений размеров АХшах ‚ АГшах и непреуменьшения 
минимальных значений размеров Хи , АХти по соответствующим координатам. 

На этапе размерной селекции для каждой закончившейся 4-локальной области 
вычисляются размеры АХ) и АГ, которые затем сравниваются с максимальными и 
минимальными размерами, которые задают некоторый интервал значений. Если 
АХ) и АУц) удовлетворяют размерной селекции, то формируется сигнал разрешения 
для данной локальной области (РЛО): 


1, если (АХ. ЗА ЗАХ, АХ ЗАТ АИ) (4) 
0, если (АХ. „ >АХФ)у (АХ > АХ М (АГ и > АЗ) У (ДУ9 > ДУ) 


ш тах 


РЛО® = 


причем, для получения РЛОФ = | все условия объединяются по «И», а при невыпол- 
нении хотя бы одного условия разрешение не формируется, то есть РЛО® = 0. 
Только при РЛО® = 1 возможна выдача измеренных пространственных параметров 
потребителю. 

Более подробно вопросы измерения пространственных параметров исходных 
изображений изложены в [3], [5]. 

Для достижения цели исследования теоретических возможностей и разработки 
комплекса программно-аппаратных средств формирования электронных карт мест- 
ности на основе аэрофотоснимков, получаемых с помощью беспилотного летательного 
аппарата, было разработано программное средство ФЭКМ-2009 для анализа аэро- 
фотографических изображений и формирования электронной карты местности. 

Программное средство преобразования фотоизображения в электронную 
карту местности [5]. На рис. 3 представлены фотографии сельской местности, сделан- 
ные с борта беспилотного летательного аппарата с высоты 100 м. Автором разработано 
программное средство формирования электронных карт местности ФЭКМ-2009, кото- 
рое использует пакет С++ВийЙаег. Программное средство имеет основное окно и 
дополнительные 6 окон, отображающих этапы выполнения операций над входными 
изображениями. 

Современные цифровые фотоаппараты формируют фотоснимки в ЛРЕО-формате. 
Предварительно для последующих различных преобразований выполняется перевод 
исходного изображения в ВМР-формат, при этом яркость каждого пикселя представ- 
ляется тремя байтами и в младший байт записывается код яркости красной составля- 
ющей, а в старший байт — код синей составляющей: 


= лу бала, (5) 


где умножение на 2* означает сдвиг «зеленого» байта на 8 разрядов влево, а умножение 
на 2'б означает сдвиг «синего» байта на 16 разрядов влево. 

В результате проведенных исследований выявилась следующая необходимая 
последовательность преобразований исходного фотоизображения в электронную 
карту местности: 
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1) цветовые преобразования исходного изображения — подавление зеленых и 
желтых цветов, которые характеризуют растительный фон -— траву, деревья, кусты, 
огороды в населенных пунктах и Т.д.; 

2) превращение цветного изображения в черно-белое, с сохранением яркостной 
информации по объектам, представляющим интерес для электронной карты местности; 

3) формирование бинарного изображения с целью выявления силуэтов выде- 
ляемых объектов, для чего используется либо фиксированный порог, подбираемый 
опытным путем оператором, либо автоматический порог, определяемый тем или 
иным адаптивным методом; 

4) сегментирование бинарного изображения с целью выделения локальных 
областей пространственно-связанных элементов; 

5) размерная селекция, с помощью которой устраняются малоразмерные локаль- 
ные области, а локальные области с размерами, большими заданных, остаются без 
искажений; 


4 Система формирования электронной карты местности ФЭКМ-2009 = [в] 


Файл  Вхоизображение Текущее изображение Масштаб Фрагиенты Окна Анализ Преобразования Цветовые фильтры Объекты — Справка 


| Введено изображение - ВМР. Размер - 600 х 600 пикс. | Текущее изображение ВМР - 600 х 600 пикс. || 
| Файл-Е:\Роекь\Мольков\Фрагм1 Бтр. Размер-1080.05 кбайт || Размер Фрапмента = 440 440 пик | | 


Рисунок 3 — Программное средство анализа аэрофотоснимков 


6) измерение для каждой локальной области координат центра тяжести как 
устойчивых интегральных характеристик; 

7) выполнение анализа каждой локальной области с выявлением геометрических 
размеров и осей симметрии; 

8) по измеренным координатам осей симметрии реальный силуэт объекта заме- 
няется условным графическим изображением объектов на электронной карте — 
строений, дорог, приусадебных участков, водоемов, рек, ручьев и т.п. с учетом цвета 
объектов и цвета фона. 


Бинаризация изображения 


Для текущих значений кода яркости 5% (1,/) изображения выполняется пороговое 
сравнение, в результате чего формируется бинарное изображение 55 (1): 
а 1 „если 5,6) >5,, 
5ь (Л) = о (6) 
0 „если 5,(Л)<5, 1 
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где «1» кодируется максимальным значением кода э5.1 = 255, что соответствует белому 
цвету, а «0» кодируется 5ъ.о = 0, что соответствует черному цвету. 

Бинарное изображение представляется в виде пятенной картины, на которой 
наряду с силуэтами полезных изображений имеется большое количество импульсных 
помех и ложных изображений объектов, число которых определяется пороговым 
уровнем. В [3] достаточно подробно представлены методы определения порогового 
уровня. 

На рис. 4 а) показан фрагмент полученного бинарного изображения, который 
характеризуется наличием большого количества импульсных помех и пропусков 
деталей изображений объектов (скаты крыш, оказавшихся в тени). 


Рисунок 4 — Формирование бинарного изображения: 
по исходному изображению (а); и после цветового преобразования (6) 


На рис. 4 6) представлен фрагмент бинарного изображения, полученного после 
цветового преобразования по методу удаления композитного цвета. Удаление на 
изображении желто-зеленого растительного фона позволило уменьшить пороговый 
уровень, что дало возможность выявить части изображений объектов (скаты крыш), 
находящихся в тени. Уровень импульсных помех примерно такой же, что и на рис. 4 а). 
Для удаления импульсных помех и малоразмерных изображений ложных объектов 
необходимо далее использовать размерную селекцию, предварительно выполнив 
пространственную сегментацию, то есть выделить пространственно-связанные ЛО, 
для чего необходимо использовать алгоритм сегментации, изложенный выше. На рис. 5 а) 
показано изображение, получившееся из бинарного изображения после размерной 


селекции и инверсии бинарного изображения. 
+ 


6) 


Рисунок 5 — Бинарные изображения: а) — после сегментации 
и размерной селекции; 6) — после классификации строений 


«Штучний 1нтелект» 2013 №3 247 


Сальников И.И. 


Анализ сегментированных изображений 


После этапа сегментации и размерной селекции сегментированные реальные 
бинарные изображения необходимо заменить условными обозначениями, использу- 
емыми в картографии. Реальные изображения строений и дорог характеризуются, 
как правило, значительными искажениями, основными из которых являются: наличие 
разрывов, ложной бахромы на границах, пропадание части изображений объектов, 
произвольной ориентацией в пределах растра (рис. 5 а). 

Задачей следующего этапа является использование метода, позволяющего впи- 
сывать прямоугольник в искаженное изображение строения. Чтобы можно было впи- 
сать прямоугольник необходимо измерить характерные точки на изображении, которые 
менее всего подвержены искажениям. 

Такими точками могут быть координаты центра тяжести Хит. ® ‚ так как они 
являются интегральными характеристиками. На рис. 6 представлено изображение 
строения в виде силуэта с неровными краями. После сегментации выделяется (4)-локаль- 
ная область, которая имеет геометрические границы в виде прямоугольника. Выпол- 
няется анализ растра внутри этого прямоугольника. Определяется начальная точка 


АХ или начальный интервал ЛХ“, на котором яркость изображения изменяется 
сначала 0—1, а затем 1-0. Затем измеряется интервал ЛХ для следующей строки. 
Если АХ > АХ) +6, , то это означает, что анализ следует продолжить. 

Если АХ“ < АХ“! + д, , то для данной строки вычисляется координата центра 


(4) 
тяжести Хр, 


(4) 
ления координат центра тяжести строки Хх ЦТ, 


мировать абсолютные координаты всех пикселей силуэта, а затем поделить на число 
1+АХ, 
пикселей, то есть Хх = - У х® ‚ тогда получим абсолютное значение коорди- 
“ АХЯ | 
7 1 
наты центра тяжести на /-строке. 

После окончания ЛО определяется длина оси симметрии [.х® ‚ для чего необхо- 

димо выполнить аппроксимацию оси симметрии до пересечения с границами ЛО. 


а также для всех других строк, где выполняется это условие. Для ВЫЧИС- 


в пределах АХ т необходимо просум- 


А хе 


Рисунок 6 — Определение оси симметрии ЛО 
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Далее, определив средние поперечные размеры, силуэт с искажениями заменяют 
прямоугольником, имеющим такие же размеры и ориентированным по оси симметрии. 
На рис. 5 6) представлено изображение в виде электронной карты местности, на которой 
бинарные изображения строений заменены условными графическими изображениями 
в виде коричневых прямоугольников. 


и 


Рисунок 7 — Построчный анализ сложного изображения 


При использовании растрового построчного метода для анализа сложного изо- 
бражения в виде многооборотной спирали (рис. 7) необходимо несколько проходов в 
разных направлениях. При этом, число проходов равно 2и ‚ где и — число оборотов 
спирали. На рис. 8 показано, что выполнив 4 прохода по разным направлениям, до 
конца не удалось проанализировать изображения (непроанализированные участки 
показаны темным цветом). 

Другим недостатком алгоритма построчного анализа, описанного выше, является 
невозможность определения характерных точек, о которых говорилось выше. Поэтому 
был разработан следящий алгоритм анализа изображений объектов, позволяющий 
последовательно проследить все точки изображения и определить характерные точки: 
точки пересечения ветвей, точки возврата анализа, точки изменения направления анализа. 


а) 6) в) 


Рисунок 8 — Построчный анализ сложных изображений: 
исходное изображение (а); 2 прохода: «влево-вверх» и «вниз-вправо» (6); 
4 прохода: «влево-вверх», «вниз-вправо», «вправо-вверх» и «вниз-влево» (в) 


Следящий алгоритм с формированием характерных точек не зависит от раз- 
меров объектов, толщины линий, наклона контура, числа ветвей. Это позволяет эффек- 
тивно использовать данный алгоритм при распознавании рукописных символов. Растро- 
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вый построчный метод анализа прост в реализации, но для этого метода невозможно 
учесть все многообразие изображений объектов. 


Тва Тва 
Тда 


Тна Тна Тда 


Рисунок 9 — Примеры возможных изображений фрагментов символов 


Для анализа сложных изображений любой формы был разработан следящий 
алгоритм, который позволяет не только определить все точки изображения, но и опре- 
делить характерные точки: Тна — точки начала анализа; Тва — точки возврата анализа; 
'Тда — точки двоения анализа. 

Следящий алгоритм может быть использован: 

— для стирания сложных фигур, если в зоне локальной области (ЛО) находится 
другая ЛО, которую надо оставить. Или наоборот; 

— формирование «скелета» изображения при распознавании рукописного текста, 
при этом Тва могут служить элементами кода символа; 

— формирование «скелета» изображения для распознавания дорог, ручьев и рек 
при формировании электронных карт местности. 

Следящий алгоритм заключается в следующем: 

1. Используется формат анализа (рис. 10), где 1, 3, 5, 7 — основные направления, 
а2, 4, 6, 8 — диагональные; 

2. Каждый пиксель является источником анализа. Если есть пиксели, примыка- 
ющие ребром (рис. 10 6), то в память стекового типа заносятся координаты примы- 
кающего пикселя и его направление: 

5Р++; Х,[5Р]=Х;; У,[5Р]=У,+1; В, [5Р]=1; 


5Р++; Х,[5Р]=Х,;+6 У,[5Р]=У,; В, [5Р]=3; (10) 
8 | 2 1 2 
7 3 3 
6 т 
а) 6) в) 


Рисунок 10 — Формат следящего анализа 


3. Если нет пикселей, примыкающих ребрами, то проверяются диагональные 
направления (рис. 10,в): 
5Р++; Х,[5Р]=хХ,+Б У,[5Р]=У+6 В,[5Р]=2; (11) 
4. После проверки 4 основных направлений и 4 диагональных из стека извлека- 
ются координаты точки, записанные последней для последующего анализа. 


5. Из стека читается режим К; [5Р] ‚ который указывает направление, в котором 


не нужен анализ, так как это направление предыдущего шага анализа. Если К; [5Р] =1, 


то это 5 (рис. 10 а). Это позволяет избежать повторов анализа; 


250 «Искусственный интеллект» 2013 №3 


Методы распознавания сложных бинарых изображений... 


6. При назначении режима сначала читается из стека режим для данной точки 
анализа. Если К; [5Р] = 0, то записывается номер направления, с которого пришел 


вектор анализа. Если К; [5Р] = 0, то этот пиксель не анализируется. Таким образом, 


В [5Р] будет иметь только одно 1-е значение, когда анализ «напал» на этот пиксель 


впервые. 
Число вариантов анализа будет определяться выражением: 
р ПР пуб 
йь = я. + быт +1 > (12) 


где и, — число прямых направлений; и. — число диагональных направлений; 
п‹» — Число прямых направлений в формате связанности; и„; — число диагональных 
направлений в формате связанности; 1 — для А. [5Р] = 0. 


На рис. 11 представлен результат работы программы, реализующей алгоритм 
следящего анализа. 


19.6 


а) 6) в) 
Рисунок 11 — Анализ сложных изображений: следящий анализ изображения, 
представленного на рис. 8 (а); построчный анализ (6), видны неразмеченные части; 
следящий анализ с подсветкой зон размещения символов (в) 


Таким образом, показано, что построчный анализ для сложных ветвящихся и 
многооборотных бинарных изображений, какими являются рукописные символы, не 
подходит. Даже при многократном проходе остаются непроанализированные части 
изображения (рис. 8, 11 6). Разработанный следящий метод анализа позволяет про- 
анализировать изображения любой сложности (рис. 11 в). Важной особенностью этого 
метода является возможность определения точек смены направления анализа и точек 
пересечения направлений анализа. Эти характеристики могут быть использованы в 
качестве признаков для распознавания рукописных символов. 
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ВЕГОМЕ 
И. Зат оу 


Кесоетпоп Мефоа о} Сотр/ех Втагу [тазез Вазеа 


оп Ргоэтезяе апа Тгасютя Апа[у515 

ТБе гези $ оЁ Фе 4еу@ортепЕ оЁ ргоэтезууе ап4 таскте тефо4$ г апайу71те 
Ыпагу ппазез. \е сопз14ег {о аррИсаНоп$ оЁ Ше 4еуе!оре4 те о4$ — апа[у$1$ оЁ Ве 
ппасез оп Фе аепа! рВоюэтарВ$ оЁ оБ]ес{5 ай оссигз УПеп ЮюппаНоп оЁ фе @есотс 
тарз оЁ Те агеа Нот ат роз, аз ме аз гесосп оп оЁ Вапдуливеп сВагасет$-Ноп, запдте 
зерагаеу. 

Глпе апа]уз$1$ 1$ реогте4 оуег Фе епйге Нате ап4 аплз о %апа оц{-0Р [оса] 5расе- 
т@ае4 Не]4$5, 1е зеотещайоп. 15 зе 5-Боипа огтаф уусВ Ваз ве ЕАпез$$ апа заЁНаепсу. 
А$ а гези®, фе зеотещайоп 415ЯпеилзПеа 1оса| агеа, 4ейпе4 Бу Фе оуегаЙ 4иптеп$101$ 
ог Фе шеазиге ап Фе зрайа| рагатеегз: агеа, сотог |епо@, е соот штаез оЁ фе 
сещег оЁ отауЦу ап фе оеотейлс сещег. Но\уеуег, авйег рагзе Фе оуегаЙ Гогт оЁ фе 
оса] соот4тае$ ап4 е соог4тае оЁ\Ве |аз{ ротп{ оЁ 1е апа1уз1$, ап шогтайоп абойе 
{бе пщегпа| згасваге оЁ Те птазе 1$ 11155115. 

Г 1$ зпо\т Фа Бу-Ппе апа[уз1$ оЁ сотр!ех БгапсЬ ше ап ти Ыпагу ппасез, ура 
аге Фе Вап4-улуйеп сБагасйег$ а аге по зицаЫе. Еуеп ул Фе 4-Ю14 раз, Бой ВомхощаПу 
ап4 уегисаПу аге поп-рагзшо оЁ фе ппасе. 

\М/а$ 4еуеоре4 шасКте тефо4 Гог Ше апа[уз1$ оЁ сотр|ех Ыпагу Ппасез аге Базеа 
оп Фе дейтоп ор Фе 4 таш ФтесНопз$, \Теп Ше р!хе[$ аге теа{е4 ю Фе 1165, ап4 4 аа4 опа! 
Фасопа| ЧтесНоп$, упеп е рихе[5 аге ге|ае4 ап]е$. ТВе Беошишсе о Ве апа[уз1$ 1$ фе 
рот а{ угаз аё Фе еп4 оЁ зеотещайоп. 

Ап ппронап{ Геабвхге оЁ Фе шасКше тео4 1$ фе а Шу ю даегише Фе ро оЁ 
геуегза| ог 1е апа|у$15 ап4 Фе пщегзесйоп рошё$ оЁ Ппез оЁ апа[уз15. ТВезе даёа сап Бе 
изе4 аз Геагагез Юг гесори17 те Вапдул еп спагасбегв. 
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